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(5) Anordnung und Laserpointer zur Kommandierung eines sem 

® Die Erfindung betrifft eine Anordnung (5) zur Komman- 
dierung eines semiautonomen Systems (1) in einem Ar- 
beitsfeld (3). Die Anordnung (5) umfalM eine Kamera (11) 
zur Gberwachung des Arbeitsfelds (3) und einen von ei- 
nem Bediener (2) handgehaltenen Laserpointer (8) zur 
Markierung von Objektpunkten (9) im Arbeitsfeld (3). Um 
- auch bei hellem Umgebungslicht- eine guteErkennbar- 
keit der durch den Laserpointer (8) marklerten Objekt 
punkte (9) durch die Kamera (11) sicherzustellen, 1st der 
Laserpointer (8) erfindungsgemaG so gestaltet, daft er 
Strahlung auf mindestens zwe? unterschiedlichen Ab- 
strahlfrequenzen abstrahft, und die Kamera (11) ist mit ei- 
nem Filter (22) versehen, das fur mindestens eine der Ab- 
strahlfrequenzen des Laserpointers (8) durchlassig ist, 
das Umgebungslicht jedoch unterdruckt. 
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Bcschrcibung 

|0001 1 Die Erfindung bclrifTi cine Anordnung zur Kom- 
mandicning cines sciniautononicn Systems nach dem Ohcr- 
bcgrifT cies Anspruehs 1 , wic sic bcispielsweisc aus der Vcr- 5 

uiicriliiChurig "IiJiCgrUuug u MuiUiiiGuul HuuiuTrlxObGi In- 
teraction Method Into a Multi-Robot Control Station" (IEEE 
International Workshop on Robot and Human Interactive 
Communication, 2001 lEIili) als bckanni hcrvorgcht. Die 
Erfindung bctrifft weiterhin cinen Lascrpointcr zur Kom- io 
mandicrung cines semiautonomen Systems. 
|MH)2j Bei Arbeiten in gefahrlichcr odcr gesundheits- 
schadlichcr Unigcbung werden vielfach semiautonojne Sy- 
slemc (z. B. fcrngcstcucrtc mobile Roboler) cingesetzt, wcl- 
che bediencrgcfuhrl beslimmte Aufgaben ausfUhren. Die 15 
Fuhrung cines solchen scmiaulonoinen Systems kann einer- 
scits nut Hilfc cines Arbcilsprogramms erfolgen, das in ei- 
ncr Kontrollstation crsiclh wird und dessen Abarbeilung 
durch den Robotcr mil TTilfe der Kontrollstation Qbcrwacht 
wird. Andererseils besteht oft insbesondere bei Arbeiten in 20 
cincm komplexen Arbehsumfcld - das Interesse, die vollau- 
tomatischen Fuhrung des Robotcrs zu crselzen bzw. zu er- 
ganzen durch eine intcraktive Stcuerung, mil Hilfc dcrer ein 
Bediener den Roboler interaktiv durch ein Arbeilsumfeld 
fiihrt und bei der Bearbeilung der auszufuhrenden Aufgaben 25 
instruiert. Dies hat den Vorteil, daB der Bediener die durch 
die Kontrollstation cinprogramnuerten Handlungen durch 
seine personliche Urnfeldintcrpretalion variieren und/odcr 
erganzen kann. So kann der Bediener beispielsweisc bei 
Aufgaben komplcxer Objekt- und Hindcmiserkennung, bei 30 
Entscheidungen odcr bei Kontrollaufgaben interaktiv auf 
den Roboter cinwirken, so daB der Robotcr die Rolle eines 
inlelligentcn Assistenten des Bedieners QbernimniL Hiertur 
isl cine Gesatntanordnung vonndten, die eine schnelie und 
fehlertrcic Interaktion zwisehen dem Bediener und dem Ro- 
boter ermoglichl. - Ein Bei spiel cincr solchen Gesamtan- 
ordnung zur interak!iven Kommandicrung eines Roboters 
isl in der Veroffentlichung "Integrating a Multimodal Hu- 
man-Robot Interaction Method Into a Multi-Robot Control 
Station" (DiHK International Workshop on Robot and Hu- 40 
man Interactive Communication, 2001 IEEE, Seiten 
468-472) beschrieben: ITierbei kommtcin Laserpointer zum 
Einsatz, mit Hilfe dessen der Bediener raumliche Tnforma- 
tionen an den Roboter ubertragL Mit Hilfc des Lascrpointers 
kann der Robotcr bcispielsweise auf einem durch den Laser- 45 
pointer angedeutelen Weg durch einen Arbeitsraum geleitet 
werden; altemativ kann ein vom semiautonomen System zu 
transportierender Gegenstand und/oder ein Ablageort fiir 
dicscn Gegenstand vom Bediener markiert werden etc. Wei- 
terhin isr. i n der Gesamtanordnung ein S pracherkenn ungssy- 50 
stem vorgeschen, mit Hilfc dcrcr vom Bediener gesprochene 
Anwcisungen in vom Robotcr inierpretierbare Befchlc iibcr- 
setzt werden. 

10tH>3J Die aus dieser Veroflenilichung bekannte Gesarnt- 
anordnung soil die raumliche Kommandicrung cines semi- 55 
autonomen Systems in einem Arbeitsraum erntOglichcn. 
Dabci soil der Laserpointer so kiein und leicht sein, daB er 
vom Bediener muhelos mit einer Hand gchalten und bedient, 
werden kann. Weiterhin soli der vom Laserpointer ausge- 
sendetc Liehtpunkt fur den BenuUer leichl sichlbar und fiir 60 
cine mit deni semiautonomen System vcrbundenen Kamera 
leicht detcktierbar sein. 

[00041 Schwierigkeiten treten allerdings dann auf, wenn 
die Kommandierung des semiautonomen Systems bei Ta- 
gcslicht odcr in cincm hell belcuchtcicn Umfcld stattMndcn 65 
sol], In einem solchen l'all kann der Liehtpunkt des Laser- 
pointers nur dann prozcBsicher von der Kamera des semiau- 
tonomen Systems erkannt werden, wenn die Intcnsital des 
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Lichtpunkts wcscntlich holier isl als das Umgebungs-Slrcu- 
ucht. Dies bedeuteU daB die Laserleistung - in Abhangigkcit 
von der Iolensital: des Umgebungs-Streulichts - ggf, sehr 
hnch gcwahli werden muB. Dies wiederum hat zur Folge, 
daB der Ixislungsvcrbrauch des Lascrpointers sehr hoch isl, 
so daB cni.wcucr (bei VerwcnuUfig kleincr Battericn) die 
Nutzungsdauer des Systems sehr kurz ist, oder aber (bei 
Verwendung grOtJcrer, langtcbigerer Kattcricn) der Laser- 
pointer fOr ein handgehaltencs GeraM zu groB und unhand- 
lich wird. Ubcrslcigl die Intensity der Laserleistung einen 
bestimmlcn Wert, so darf weiterhin ein solchcr laserpointer 
nicht mchr in einem von Personcn begehbaren Arbeitsum- 
fcld genutzt werden. Somit ist der aus der oben genannten 
Vcroflcntlichiung bekannte Gesamtanordnung nicht geeig- 
nct, ein semiautonomes Syslem in einem von Menschen be- 
gehbaren Arbcilsumrcld prozcBsicher im Dauerbetricb zu 
kommandieren. 

J0005] Der Krfindung licgt daher die Aufgabc zugrundc. 
eine Gesamtanordnung zur Vfcrfiigung zu stcllen, mil Hilfe 
dercr cin semiautonomes System in einem von Menschen 
begehbaren Arbcitsumfeld prozcBsicher kommandiert wer- 
den kann. Weiterhin liegt der Erfindung die Aufgabc zu- 
grundc, cinen aus dem Stand der Technik bekannten Laser- 
pointer in einer solchen Weise weiterzuentwickeln, daB cr 
sich zur Kommandierung eines semiautonomen Systems in 
einem von Menschen begehbaren Arbcitsumfeld eignet. 
10006] Die Aufgabc wird erfindungsgemaB durch die 
Merkrnale der Ansprtichc 1 und 5 gclost. 
10007] Danach kommt zur Kommandicrung des semi au lo- 
nornen Systems ein multichromatischer Laserpointer zum 
Einsarz, der simultan mindestens zwei Lichtstrahlen unter- 
schiedlicher Frequcnzen aussendet, wobei die Lichtstrahlen 
kollitiear zueinander ausgesandl werden. Weiterhin ist das 
semiautonome System an eine Kamera gekoppclt, mit Hilfe 
dercr der Liehtpunkt des Laserpointers detektiert wird und 
die mit einem Filter vcrschen ist, das fiir mindestens eine der 
Abstrahlfrequenzen des Laserpointers durchlassig ist. 
[0008] Die erste Abstrahlfrequenz des Laserpointers liegt 
vorteilhaflcrweise im sichtbaren Speku*albcrcich; selbsl 
wenn die Intensity dieses StrahLs vergleichs weise gering isi, 
ist ein auf dieser sichtbaren Frequenz crzeugter Laseqiunkt 
fur den Bediener - auch bei hohem Sireulichtanteil - gut er- 
kennbar, weil der Bediener den Lascrpointers in seiner Hand 
ausrichtet und daher eine gute Vorinfonnation beziiglich der 
zu erwartenden AuftrefTstelle des Laserpunkts hat. Die 
zweite Abstrahlfrequenz wird - in Abhangigkcit von dem 
jeweiligen Arbcitsumfeld - zwcckmaBigerweise in einem 
Frcquenzbereich gcwahlt, in dem nur wenig Umfeld-Sircu- 
licht vorlicgi; das Filter der Kamera wird entsprechend die- 
ser zwei ten Abstrahlfrequenz so gewahlt, daB es eincrseits 
transparent ist fiir Strahlung im Bcreich der zweiten Ab- 
strahlfrequenz, andererseils aber das Umfcld-Strculichl 
wcitgehend absorbiert. Da das Fremdlicht stark unterdriickt 
wird, kann der Liehtpunkt, den der Laserpointer auf der 
zweiten Abstrahlfrequenz erzcugt, prozeBsichcr von der Ka- 
mera detektiert werden, auch wenn der Laserpointer auf die- 
ser Abstrahlfrequenz nur eine gcringc Strahlungsintcnsitat 
aufweist. Da die beiden Frequcnzen kollinear vom Laser- 
pointer abgestrahlt werden, stimmcn die ()rte der beiden auf 
diesen Frequenzen erzeugten Laserpunktc uberein. so daB 
der sichtbarc Lascrflcck unmitlelbar AufschluB gibt uber 
den Ort des auf der zweiten Abstrahlfrequenz cr/cugtcn La- 
serflecks. 

[0009] Altemati v zu der oben beschriebenen Wahl der er- 
sten Abstrahlfrequenz ijn sichtbaren Bcreich kann die erste 
Abstrahlfrequenz auch in einem anderen Frcquenzbereich 
gewahlt werden. wenn bcispielsweise der Arbeitsbereich 
(zumindesl lokal) mit einer fluoreszicrenden Beschichtung 
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verschcn ist, wclchc durch den cinfallcnden ersien Laser- 
si rahl aktivicrt wird; auch dann ist die AuftrerTslcUe des er- 
sien I^ascrsirahls niimlich f ur den Bediener leicht sichlbar. 
|(M)!0] Hie crfmdungsgcmiiBe Anordnung, wclchc cincr- 
scils einen niultichromat.ischen Lascrpointer, andererseits 5 
cine (mii'ids ciues Fillers) auf cine spezitische Abstfahifre- 
quenz des Laserpointers cingeslellle Kamcra umfaBl, er- 
moglicnleinc prozcUstcherc Kominandicrung des scmiauto- 
nomen Systems in cincjn fiir ?ersonen begchbaren Arbcits- 
urnfcld: Aufgrund dcr spczifischen Eigenschaflen der bei- W 
den Absirahltrcquenzen kann die Strahlungsleistung des La- 
serpointers namlieh - wie oben erlaulert - auf bciden Fre- 
quenzen so gcring gcwahlt werden, daB die Laser-Sichcr- 
heilsvorschriften gemaC DIN problcnilos erfiilll werticn 
konnen. Durch geeignetc konstruktive MaBnahmen kann i> 
der multichroinatischc Lascrpointer so klein und leicht gc- 
siakci werden, daB er voni Bcdiencr in cincr Hand gehallen 
und gefuhrt werden kann. Dcr Lascrpointer wcist aufgrund 
seines koltimicrien Strahlengangs auch ilber groflc Distan- 
zen hinweg cine hohe Genauigkeit auf. Weilerhin kann der 20 
Licht fleck des Laserpointers auch von inehreren Robotem 
gleichzeitig del ek lien werden. so daB sich die erfindungsge- 
maBe Anordnung /.ur simultancn Kommandicrung mchrerer 
semiaulonoiucr Systemc cignet. 

1 0011 J ErniulungsgemaB liegt der zweile Slrahl des Laser- 25 
pointers auf cincr WelJenlange irn infrarolen (IR-)Speklnil- 
hereich, wclchc dcr doppclten Wcllcnlangc des sichtbaren 
crslcn Sirahls cnlsprichf (siehe Anspruch 5). Dies hat den 
Vorteil, daB dcr erstc Strahl des Laserpointers durch Fre- 
qucnzvcndopplung des zweilen Sirahls erzeugl werden 30 
kann. Dcr Aulban des Laserpointers geslaltet sich daher be- 
sondcrs einfach: In der Kavitat des I-aserpointers isr neben 
dem auf dcr IR-Frequenz abstrahlenden Lasermedium ein 
frcquenzverdoppctnder Kristall angeordnet, so daB in der 
Kavitat neben dem IR-Strahl ein kollinear mit diesem ver- 35 
laulendcr frcquenzvcrdoppcltcr Strahl vorlicgl. Die Aus- 
triilsoptik des T^ascrpointers ist so gestaltet, daB sowohl der 
ersle (sichtbare) und der zweite (IR-)Strahl in einer ge- 
wiinschten, mit den Sicherheitsvorschrifien vereinbaren, In- 
lensitat auslrclcn. 40 
1 4)01 2 1 In einer vorteilhaften Ausgestaltung der Erfindung 
enthalt der Lascrpointer als Lasermedium einen Nd:YV04- 
Krislall, dessen Laserwellenlange (1064 nm) im Nah-IR- 
Bereich liegt und der mil Kilfe eines Laserdiode (mit Wel- 
lenlangc 808 nrn) gepumpt wird. 45 
10013) Als Frequenzverdoppler wird ein KTP-Kristall 
verwendeu der cine elTizicnte Frequenzverdopplung derlR- 
Laserwellenlange auf eine sichtbare We Hen lan ge von 
532 nm (d. h. im griincn Speklralbcrcich) crnioglichl (siehe 
Anspruch 6). In einem industriellen Arbeitsumfcld ist ein so 
solchcr griiner Lnserflcck auch in geringer Intensita't -- fUr 
den Bediener leiehl. erkennbar. 

1 0014] Die erfindungsgeniaBe Anordnung zur Komman- 
dierung eines scmiautonomen Systems mitHilfe eines mul- 
liehromatischen laserpointers kann insbesondcre zurSteue- 55 
rung eines Industrierobolers in einem industriellen Arbeits- 
umfcld cingesetxt werden (siehe Anspruch 2). 
[0015] ZweckmaBigcrweise umfaBt die Kommandicran- 
ordnung neben dent Lascrpointer zur tlbermittlung raum- 
licher Infonnationcn an das semiautonoine System - weitere 60 
Hilfsmitiel zur Interaktion zwischen Bediener und semi a u- 
fonoiuetn System. So isles vortcilhaft, den Lascrpointer mit 
einem Funkwellensendcr zu versehen, nut Hilfe dessen Si- 
gn ale an einen mil dem scmiautonomen System gekoppellen 
Funkwcllcncmpfangcr gesendet werden konnen (sichc An- 65 
spruch 3). Mil Hilfe dieses Funkwellen senders kann dcr Be- 
diener dem scmiautonomen System signalisieren, daB der 
Laserpointcr nun auf einen Bereich im Arbeilsraum gerich- 
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tel ist, an dem das sennautonotiic System cine hcsnmmie 
Handlung durchfuhrcn soli. Das entsprcchende l 7 unkwcllcn- 
signal trigger! die Aufnahmc eines Bildes des Arbcilsraunis 
durch die Kautera; aus diesem Bild wird dann mil Hilfe ei- 
nes Bildvcrdfbcitungsprogramms dcr Laserpunkl identili- 
/jci'i, dessen OrtskoOi'diuaiCn an das sciniauiunontC SySicnt 
weitergegeben werden. das dann die geforefcrte Handlung 
vollfuhrt. 

10016] Weilerhin umfaBl die Anordnung zweckmaRigcr- 
wcisc cine tragbare Kingabccinheit, mil Hilfe dcrcrdcr Bc- 
dicner Befehle an das scmiaulonome System absclzen kann 
(siehe Anspruch 4). Diesc liingabeeinheit kann insbeson- 
dcre ein handgehaJlener (Computer mil 'Jbuchscrccn sein, 
auf dem dcr Bcdiencr den gewunschten Bcfchl anwiihlen 
kann. Ein diesem Befehl cnLsprcchendes Signal wird dann 
voni Computer (iiber Funk, oder Ubcr Datenleitung) an das 
semiaulonome Sysleru ubenuiltclL. 

|0017J Im folgcndcn wird die Erfindung anhand eines in 
den Zcichnungen dargcstclltcn Ausfuhrungsbci spiels nahcr 
crlautert; dabei zeigen: 

[0018] Fig. 1 eine schematische Darstellung einer crfin- 
dungsgemaBen Anordnung zur Koinmandierung eines scmi- 
autonomen Systems in einem Arbeitsraum; 
100191 Fig. 2 eine schematische Darstellung eines crfin- 
dungsgentiitten uiullichromalischen Laserpointers. 
10020] Fig. 1 zeigt in einer schematischen Darslcllung cin 
scmiautonomes System 1, welches von einem Bcdicner 2 in 
einem Arbeitsraum 3 kommandiert wird. Dicser Arbeits- 
raum 3 kann z. B. eine Arbeitszelle in einem Produkuons- 
umfeld, eine Ent- bzw. Beladestation eines 'Iransportsy- 
sieirts oder auch eine Gefahrenumgebung (wie z. B. ein che- 
misch verseuchtes (jelimde) sein. Unter einem "semiautono- 
nien System" 1 soil tin folgenden cin ManipulaUK. insbeson- 
dcre ein Roboter 1', verstanden werden, welchcr Befehle 
von einer Bedienperson 2 empfangt und - entsprechend dic- 
ser Bcfchlc - bestimmtc Handlungcn durchfuhrt Zur Inter- 
pretation der Bedienerbefehle und zur Steuerung/Regelung 
der diescn Befchlen entsprechenden Roboterbewegungen ist 
das semiautonoine System 1 nut einer Rcchnereinheit 4 ver- 
schcn. Die intcraktivc Stcucrung des scmiautonomen Sy- 
stems II durch den Bediener 2 erfolgt mit Hilfe einer in Mg, 
1 schemausch dargestellten Kommandier-Anordnung 5; 
diese Anordnung 5 besteht aus mehreren Komponenten, die 
im folgenden beschrieben werden: 

Zur Ubermililung von Befehlen des Bcdicncrs 2 an das se- 
miaulonome System 1 urnfaBt die Anordnung 5 eine trag- 
bare Eingabeeinheit 6. Im vorlicgenden Beispicl ist diese 
Eingabeeinheit 6 durch einen handgehaltencn Computer 6' 
mit Touchscreen gebildet, auf dem der Bediener 2 gewisse 
(voretngcstcllle) Bcfchlc auswahlcn kann; die Eingabeein- 
heit 6 ist mit einem Funksender 7 verschcn, mit Hilfe dessen 
der jeweils angew&hlte Befehl an einen Funkcmpfangcr 30 
iiberlragen wird, welcher an die Rechcneinheit 4 des semi- 
autonomcn Systems 1 gckoppeli ist. Die Rechcneinheit 4 in- 
terpretiert das empfangene Kunksignal und initiicrt bzw. 
stcucn die Abarbeitung des entsprechenden Befchls durch 
das semiautonome System 1. 

(0021] Allernaliv zu der in Fig. 1 gezeigten Eingabeein- 
heit 6 in Form eines Computers 6' mil Touchscreen kann die 
Bcfehligung des semiautonomcn Systems 1 bcispiclsweise 
akusliseh erfolgen: In diesem Fall werden die Befehle durch 
den Bcdiencr 2 gesprochen; das semiautonome System 1 ist 
in diesem Fall rail einem Mikrophon und einem Spracher- 
kennungssystem verschcn, das die gesprochene Information 
in das entsprcchende Bcfchlssjgnal ubcrsctzt. 
10022] Zur Obennittlung raurnlicher Informationen vom 
Bcdiencr 2 an das semiautonome System 1 umfaBl die erfin- 
dungsgemafic Anordnung 5 einen handgehakenen Lascr- 
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pointer 8, Mit Ililfe dieses Laserpoimers 8 kann der Bedie- 
ner 2 Objektpunkic 9 im Arbcitsraum 3 markicrcn; zur Hr- 
kennung der durch den Laserpoinier 8 crzcuglen Licht- 
punkte 10 im Arheitsraum 3 isl cine Kamcra 11 vorgeschen, 
mil Hilfe dcrer der Arheitsraum 3 (b/.w. cin ausgcwahller 5 
Ausschni Li dieses Arbcitsraums 3) Qberwachl. wird. Im Aus- 
fuhrungsbei spiel der Fig. 1 ist diese Kamcra 11 raumfesi 
stationiert. Allcrnativ zu dicscr raumfcKtcn Stalionierung 
der Kamera 11 kann die Kamcra auf dem scniiautonomcn 
System 1 mondert sein und sich bci Bcwegungen des se- io 
miauionomen Systems 1 gemcinsam mit dicsem bewegen. 
I 0023 | Die MeBdaten dcr Kamcra 11 werden iibcr cin Ka- 
bcl 12 odcr bcruhrungsfrci (z. B. Ubcr Funk) an die Sleuer- 
einheit 4 des sciiiiautonomen Systems 1 Ubermittelt. Die 
Steuereinheit 4 enthaJl. ein Bildverarbeitungssystcm, mit 15 
Hilfe dessen die Kanieradalen ausgcwcrtcL bzw. inlerprelicn 
werden. 

[0024] ErfindungsgcmiiB ist dcr Laserpointer 8 multichrc- 
malisch.d. h. ergibi clektromagnetischeStrahlung mchrcrcr 
versehicdener Wellenlangcn ab. Dcr Aufbau eincs erfin- 20 
dungsgemaBen Lascrpoinlcrs 8, der auf zwei unterschiedli- 
chen Wellenlangcn - eincr sichtbaren und ciner infraroten - 
abstrahlt, ist in Fig. 2 schematised dargestellt (wobci die be- 
kannlcn, zur Strahlfuhrung und -formung notwendigen opli- 
sehen Klcuicnte wie Linsen etc. aus Grunden der "Dbersicht- 25 
lichlccit wcggclosscn sind). Dcr I-aserpoinlcr 8 umfaBt cine 
LaserkavitSt 13, in der ein Lascrkri stall 16 (im vorliegenden 
Ausfuhrungsbcispiel einen Nd:YV04-Stab mit Lascrwcl- 
lenlange 1064 nm) angeordnet ist. Als Pumplascr 17 ist eine 
Laserdiodc vorgeschen. Ncben dem Laserkristall 16 befin- 30 
del sich in der Laserkaviliit 13 wcitcrhin ein Frequenzver- 
doppler 18. Im vorliegenden Ausfuhrungsheispiel ist dies 
einen KTT-Kristall, dureh den eine Frequenzverdopplung 
der IR-Laserwellenlange von 1064 nm auf eine sichtbare 
Wellcnlangc von 532 nm (d. h. im grunen Spektralbereich) 35 
erfolgt; in dcr laserkaviliit 13 liegt somit sowohl die ur- 
sprungliche (IR-)Laserstrahlung als auch die frequenzver- 
doppeltc sichtbare Laserslrahlung vor. Die Laserka vital 13 
isl bcidseitig durch Spiegel 14, 15 begrenzt, wobei der Aus* 
trittsspiegel 15 sowohl fur die ER-Lascrstrahl 19 (der in Fig. 40 
1 und 2 gepunktet dargestellt ist) als auch fur den sichtbaren 
Strahl 20 halbdurchlassig ist. Neben einer (herkommlichcn) 
Fokussieroptik ist auBerhalb der Laserka vitat 13 im Strah- 
Icngang cin AustrillsfiLler 21 vorgeschen, das als optisches 
Bandfilicr ausgcstaltct ist. Auslrillsspiegel 15 und Austritts- 45 
Miter 21 sind so aufeinandcr abgestimmt, daB nur gewisse 
Anteile des IR-Laserstrahls 19 und des sichtbaren Strahls 20 
durchgelassen werden; die iransrnittierlen Intensitdten wer- 
den so cingcslcllt, dafl die DrN-Anforderungen in bezug auf 
Lascrxichcrhcit. in beiden Frcquenzbereichen erfullt sind. 50 
Fiir die Anwcndung des Lascrpoinlcrs 8 zur Kommandie- 
rung eincs Industrieroboters 1' in einem industriellen Um- 
feld hat es sich als vorteilhafl herausgestellt, die Intensitaten 
der ausgekoppelien Strahlen 19, 20 so einzuslellen, daB 
beide Strahlen 19, 20 jc eine Intensitat von 1 mW haben. 55 
Der sichtbare (grtine) Lasersirahl 20 entspricht somit Laser- 
klassc 2. Ein nut diescm Laserpointer 8 markierler Objckt- 
punkt 9 im Arbeitsraum 3 ist dann - auch bei hellem Umge- 
bungslichl - fiir das mcnschliehc Augc gut crkennbar. Da 
der sichtbare Strahl 20 kollinear zu dem infraroten Strahl 19 60 
vcrlauft, erfolgt bei einen* (vcrsehentlichen) Aufireflfen des 
Lascrstrahls 19, 20 auf ein menschliches Gesichl sofort ein 
Lidschutzrefiex, so daft eine Schadigung des Auges auf- 
grund der IR-Strahlung 19 venmeden wird. Da die beiden 
Strahlen 19, 20 von dcrsclbcn Quelle 17 crzcugt werden und 65 
dcr sichtbare Strahl 20 iibcr die Frequenzverdopplung un- 
mittelbar an den IR- Strahl 19 gekoppelt ist, ist dicscr Siche- 
rungsmechanismus zu alien Zciten gcwahrleisict: Wcnnim- 



mer dcr Laserpointer einen IR-Strahl 19 abstrahlt, wird auch 
ein kollinear mit dicsem verlaufcndcr sichlharer Strahl 20 
abgcstrahll. 

|(M)25 1 Aufgrund der Anordnung des T .aserkrisialls 1 6 und 
des Frcqucnzvcrdopplcrs 18 in dcr Laserka viliii 13 verlau- 
fen TR-Lascrsirahi 19 und sichtbarer Siruhl 20 kollinear, no 
daB dcr fur den Bediencr 2 sichtbare Laserfleck 10 cxakt 
dem IR-Lascrfleck 10' entspricht. Die Abslrahlfrequcnz des 
T^serpoinlers 8 im sichtbaren Teil des Spekirums ennog- 
licht dem Bediencr 2 cinerscils, den jeweils markierlen Ob- 
jcktpunkl 9 jederzeit zu crkennen; andererseils ermoglichl 
der kollinear zum sichtbaren Strahl 20 ausgesandtc IR- 
Strahi 19 eine simultane Markierung des Objcktpunkts 9 im 
IR-Bcrcich. 

|0026] Befindcl sich dcr Arbeitsraum 3 in einem hell aus- 
geslralillcn Umfeld, so ist dem Strahl 19, 20 des Lascrpoin- 
tersS ein hoher Anteil an StOrstrahlung Uberlagcrt. Umdcn- 
noch cine gutc Erkcnnbarkcit des durch den Lascrpoinicr 8 
markierlen Objektpunkts 9 sicherzustellen, ist die Kamera 
11 mil. einem Filler 22 vcrsehen, welches transparent ist fur 
die Wellenlange des IR-Lascrslrahls 19. aber slorendes Un> 
gebungslicht ausfillert. Dieses P'ilter 22 ist vorteiliiarter- 
weise speziell auf die IR-Frequenz des Lascrpointers 8 ab- 
gcstinimt, so daB dcr IR-Laserlleek 10' mil hoher ProzeBsi- 
eherheit aus dein Umgebungs-Licht herdusgefillerl wird. 
Die Kamera 11 ist an ein (in dcr Rcchncrcinheit 4 inlegrier- 
tes) Bildverarbeitungssystem angeschlosscn, mit Hilfe des- 
scn die Posilion des Laserflecks auf dem Kamerabild 
schnell, cinfach und prozeBsicher enmttelt werden kann. 
|0027| Der Laserpointer 8 hai etwa die GroBc cine Fullfe- 
derhalters, hat ein geringes Gcwicht und kann daher vom 
Bediener 2 leicht auf beliebige Raumpunkre ausrichtct wer- 
ilen, Ncben dem bisher beschriebenen Ausfuhrungsbeispicl 
des multichromaiischer Lascrpointers 8 mit zwei Abstrahl- 
frequenzen kann der Laserpoinler auch so gestallet sein, daB 
er auf drei (oder noch mehr) untcrschicdlichcn Frequenzen 
abstrahlt. 

[0028J Der Laserpointer 8 der Fig. 1 ist zusatzlich mit ei- 
nem Funksendcr 23 versehen, mit Hilfe desscn ein digitales 
Funksignal an den mit dem scmiautonomen System 1 ge- 
koppellen Funkempfanger 30 iihersandt werden kann. Dies 
dient zur TViggerung der Bildaufnahme durch die Kamera 
11. 

|0029| Im folgcnden wird die Bcdienung der erfindungs- 
gernkBen Anordnung 5 zur Kommandierung des semi auto- 
nomen Systems 1 anhand des schematischen Beispiels dcr 
Fig, 1 beschrieben: 

Fig. 1 zeigt als konkretes Bcispicl des semiauionomen Sy- 
stems 1 einen Industrieroboter 1\ wclcher cincn Manipula- 
torarm 24 aufweist. Im Wirkungsbereich des Manipulator 
ranns 241 behndet sich eine Gitlerbox 25, in der mehrere Ge- 
genstande 26 abgelegt sind» Weitcrhin befindet sich im Wir- 
kungsbereich des Manipulatorarms 24 ein Ablagebereich 
27, auf dem der Manipulatorarm 24 die aus der Gittcrbox 25 
cnlnommenen Gegenstande 26 ablegen soil. Die Aufgabe 
hesicht nun darin, den Manipulatorarm 24 auf cine solche 
Art interakuv zu kommandieren, daB der Manipulatorarm 
24 einen Gegenstand 26 aus der Gitterbox 25 nimmt und an 
einer bcdicnergewahllen S telle 28 im Ablagebereich 27 ab- 
lcgt. 

[0030] Der Bediener 2 halt hierftir in seiner einen Hand 
den handgehaltenen Computer 6' mit Touchscreen, der Uber 
Funk mit dem an die Rcchcncinhcit 4 gekoppclten Funkwel- 
IcncmpfSnger 30 verbunden ist. In dcr anderen Hand halt 
dcr Bediener 2 den multichromatischen Laserpointer 8. 
(0031] Zur Kommandierung des Roboters 1' sctzt der Be- 
diener 2 zunachst mit Hilfe des Compulers 6' einen Befehi 
an den Robotcr V ab (z. B.: "Greife einen Gegenstand aus 
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dor Giltcrbox unci lege den Gcgenstand an dcr inarkierten 
Stclle ah!"); anschlicltend b/.w. gleichzcilig ricbtct <icr Bc- 
diener 2 den Laserpoinier 8 auf die ausgewahile Stellc 28 im 
Ablagebercich 27. wohci der sichlbare Strahl 20 des I,aser- 
pointers 8 dem Bediener 2 genau den Raumpunkt 9 anzcigt, 

31 if /U'n (\t*r T •4Vi»rt-w^inlr»r 91 r»r»ri/^h»iit itrl TT»il a*- Aar* T m>nr 

"-«■ — — « • — .r». jiViiJtui ,* IVIUWI mi. 1JUI VI "Wl A yU.1WI - 

pointer 8 auf die gewunschtc Stclle 28 ausgerichtet, so 
driiekl der Bediener 2 auf einen Ausloseknopf 29 auf dem 
Laserpoinier 8, wodurch dcr auf dem Laserpoinier 8 angc- 
ordncie Funk sender 23 ein l ; unksignal aussendct: dieses 
Funksignal wird durch <len mit derRechneremhcii4dcs Ro- 
bot ers 1' vcrbundenen Funkempf anger 30 aufgenonimen 
und trigger! cine Btldaufnahnie durch die (auf den Ablage- 
bercich 27 gerichlcte) Kamera 11. ZweckmSBigerwcise er- 
ha'lt dcr Bediener 2 ein akustisches Feedback, wenn der La- 
scrpunkt crkannt. wurdc. Weitcrhin crhalt der Bediener 2 
eine RUckmeJdung darUber, wenn cine Bildaufnahmc gelrig- 
gen wurdc, aber kein Lascrpunkt von dcr Kamera 11 cr- 
kanm werden konnle (was darauf hindeutei, daB der Laser- 
punkt auBcrhalb des Sichihereichs der Kamera 11 war). Der 
Bediener 11 kann dann zur Korrektur bzw. Wiederholung 
dcr Markierung des gewunschten Ortes aufgefordert wer- 
den. Weilcrrtin isl es vorteilhaft, in der Rechnereinheit 4 cine 
UbcrprUJuog daliingehcnd vorzunchmcn, ob der ge- 
wunschic Ablagcuri, cine uiarkierte Rauinzone etc. zulassig 
sind und ggf. eine Fchlcrmcldung fur den Bediener 2 auszu- 
gcben. 

[00321 Da die Kamera 11 - wie oben beschrieben - mit ei- 
nem IR-FiUer 22 versehen ist, wini bei der Bildaufnahme 
das Umgebungslichi stark untcrdriickt, wahrend der durch 30 
den IR-Slrahl 19 des Laserpointers 8 erzcugte Lascrpunki 
10' nahezu ungeschwacht Iransmittiert wird und daher auf 
dem Bild klar crkennbar ist. 

[0033 1 Somii kann die Detektion des Laserpunkts 10' auf 
dem Kamera hi Id mil Hilfe herkftmmlichcr Bild verar bei- 35 
tungsalgorithmen in der Rechnereinheit crfolgcn. Daraus 
wird der dieseni Bildpunkt entsprechende Raumpunkt he- 
rcehnct. Somit sind alle dem Bedienerbefchl enlsprechcn- 
den ProzeBschritlc bestimmt: dcr Manipulalorann 24 greifi 
nun einen (icgen stand 26 a us der Gitterbox 25 und icgt den 40 
Gegcnstand 26 an der gewunschten Stelle 28 des Ablagebe- 
reichs 27 ah. 

[0034) Die Berechnung des Ranmpunkts 28, an dem der 
Gcgenstand 26 abgelegl werden soli, aus dcr Bildinfonna- 
tion der Kamera 11 setzt voraus, daB ein cindcu tiger Bezug 45 
zwischen dem Kamerabild und dem durch die Kamera 11 
uberbliekten Arbeilsraum 3 besteht. Dieser Bezug kann bei- 
spielswcise durch eine sogenannte Hand-Eye-Kalibrierung 
hcrgcstcllt werden; bcziiglich dieser Art dcr Kalibricrung 
wird verwicsen auf die VerSfTentlichung "Hand-Eye Call- 50 
hraiion Using Dual Quarternions" (K, Daniilidis, Internatio- 
nal Journal of Robotics Research, Vol. IS, 1999, Seiten 
286 298), dercn Enhalt hiermit. in dicsc Anmeldung uber- 
noinmen wird. Alternativ kann der Bezug bei spiels weise 
Uber das sogenannte "Visual Servoing" hcrgestellt werden. 55 
Diese Methode isi z, B. dargcstcUt in der Veroffentlichung 
"A Tutorial on Visual Servo Control" (S. Hutchinson, G. D. 
Hager, P. L Corke. IEliE Transactions on Robotics and Au- 
tomation. Vol. 12. No. 5, 1996, Seiten 651-670), dercn In- 
halt. ebenfalls in dicsc Anmeldung ubernomraen wird. 60 
1 0035J Ist der Roboter 1' - wie oben beschrieben ~ auf ei- 
nen bestimmtcn Bclehl inleraktiv eingelernt worden, so 
kann der Roboter 1* diesen Vorgang bctiebig oft autonom 
wicderholen. South erolTnet die erfindungsgemaBe Korn- 
niundicranordnung 5 die Moglichkcit, den Roboter 1' von ci- 65 
nem Bediener 2 einzulernen, ohne daB der Bediener 2 in den 
Arbeit sbcreich 3 (= Gefahrenbercich) des Roboters 1' hin- 
einreichen bzw. hineintreten muB. 
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|0036] Mit Hi lie des l^aserpoinlers 8 konnen cincrseiis 
cinzelne Ob jektpunkte 9 im Arbeilsraum 3 markien werden; 
dadurch konnen z. B. Objekle gekennzcichnel werden, wel- 
chc mil TTilfc des semiaulonomen Systems 1 bewegl.. bear- 
5 hciiel etc. werden sollcn. Neben dieser dcr Markierung ein- 
ixlner Rau dcr lascrpointer 8 auch zur mar- 

kierung ausgewShlter Wegc, Bcreiche clc. im Arbeilsraum 3 
verwendet werden. IJnlcrschiediichc Art en der raum Lichen 
Informationsubertragung an hand cines Laserpointers 8 sind 
to beispielsweise in dcr VerofTenllichung "Integrating a Multi- 
modal Human-Robot . Interaction Method Inlo a Multi-Robot 
Control Station" (IEEE International Workshop on Robot 
and Human Interactive Communication, 2001 IEEE) dargc- 
stcUt, dercn Inhalt hiermit in diese Anmeldung aufgenom- 
15 men wird. 

|0037] Weiterhin ist es mogiich, mil Hilfe des I^aserpoin- 
ters 8 Uriffpositionen an dem zu manipulierenden Gegcn- 
stand 26 zu markiercn. Alternativ bzw. zusatzlich konnen 
r. ft, durch Markierung mehrercr Punkte im Raum auch 
20 Vektoren (z. B. Griffrichlungcn) angczeigl werden, 

10038] Bisher wurde cine Anordnung 5 beschrieben, in 
der Bedienerbefehlc mit Hilfe von Funksignalen ubcrtragen 
werden. Alternativ bzw. zusaizlich kann die Befehligung 
auch durch die menschliche Stimmc crfolgcn (wobei dies 
25 voraussetzl, daB ein System zur Spracherkennung vorgese- 
hen ist). 

[0039] Neben der oben beschriebenen Kommandicrung 
des semiaulonomen Systems 1, bei dcr dieses System 1 in- 
teraktiv durch den Bediener 2 gefijhrt wird, dcr dem System 
1 -- in Abhangigkeit von den jeweils zu bcarbeitenden Auf- 
gaben - inleraktiv Befehle gibt, kann das semiautonome Sy- 
stem 1 auch in einem rcchnergcstutztcn MofJus beirieben 
werden. In diesem rechnergestutzten Mixlus empfaugt das 
semiautonome System seine Befehle von einer (in Fig. 1 
nicht gezeigten) Kontrollstation, in der ein (fest vorgegebe- 
ncs) Arbeit sprogratmn fur das semiaulonome System 1 ab- 
gclcgt ist, welches dann von dem System 1 scqucntiell abge- 
arbeitet wird. Neben der rein bedienergesicuertcn Komman- 
dicrung des semiautonomen Systems 1 und dem rechnerge- 
stulzten Modus sind Fischformen der Kommandicrung 
mogiich, bei denen bestinimtc Arbeiten vollaulomatisch 
durchgefuhrf. werden, andere jedoch inleraktiv kommandicrt 
werden. 

Patentanspriichc 

1. Anordnung zur Kommandierung eines semiaulono- 
men Systems in einem Arbeilsfcld, 
wobei die Anordnung eine Kamera zur Oberwachung 
des Arbcilsfclds umfaBu deren Ausgangsdalen dem au- 
tonomen System znleitbar sind, 
und wobei die Anordnung einen handgehaltenen Laser- 
pointer zur Markierung von Objcktpunkten im Arheits- 
fcldumfaBt, 

dadlurch gekenn/eichnct, 

daB der Laserpoinier (8) Strahlung auf raindestens zwei 
unterschiedlichcn Abstrahlfrequenzen abstrahh, 
und daB die Kamera (11) mit einem Filter (22) versehen 
ist. das fur mindestens eine dcr Abstrahlfrequenzen des 
Laserpointers (8) durchlassig isl. 

2. Anordnung nach Anspruch 1 , dadurch gekennzeich- 
net, daB das semiautonome System (1) ein Induslriero- 
bolcr(l v )ist. 

3. Anordnung nach Anspruch 1 oder 2, dadurch gc- 
kcnnzcichnct, 

daB die Anordnung (5) einen Funkwellcnempfanger 
(30) umfaBl, dessen Ausgangsdalen dem semiautono- 
men System (1, 1') zuleitbar sind. 
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und daB die Anordnung (5) eincn bediencrgesieuerten, 
auf dem Lascrpotnlcr (8) angeordncien Funkwellen- 
scndcr (23) umfaBl. 

4. Anordming rtach eincm dcr vnrangcbcndcn Ansprii- 
che, dadurch gckcnnzeichnet, daB die Anordnung (5) S 
eine handgchallenc liingabeein licit (6, 6') /,ur Kingahe 
von Bcfchlen an das scrniautonome System (1, V) unv 
I'aBl. 

5. Lascrpoinicr (8) /.ur Kommandierung cines scmiau- 
tonomcn Systems (I, V) in eincm Arbritsfeld (3), io 
welcher cinen ersicn Strahl (20) auf einer sichtbaren 
Wellenlange ausscndel, 

und cinen zwcilen Slrahl (19) auf einer infraioten (IR-) 
Wellenlange aussendel, welche dcr doppelten Wellen- 
liinge des erslen Strahls (29) entspricht, 15 
wobei erster und z.weiler Strahl (19, 20) kollinear zu- 
cinander sind. 

6. T-ascrpointcr nach Anspruch 5, dadurch gekenn- 
zeichnet, 

daB dcr Lascrpointer (8) zur Erzeugung des zweiten 20 
Slrahbi (19) cinen Feslkorper-I^serkristall (16), insbe- 
sonderc Nd:YV04, cnihall, 

und zur Rrzcugung des ersicn Slrahls (20) einen in dcr 
Laserkavitat (13) angeordneten Frequen/.verdopplcr 
(18), insbesondere einen KTP-Kristall. enlhalL 25 



Hicrzu 2 Scitc(n) Zeichnungeo 



30 



35 



40 



45 



50 



55 



60 



1021616701 I > 




BNSD0C1D;<DE 1D215167C1,.I_> 



ZEICHNUNGEN SE!TE 2 Nummor. DE 102 15 167 CI 

Int. CI. 7 : B25J 1300 

Veroffentlichungstag; 18. Juni2003 



17 



14 



16 

I 



18 



15 



21 
I 



A 



20 

L 



19 



13 



Fig. 2 



BNSDOCID: <OE.._ 10215167C1. L> 



203 250/348 



Tlhis Page is Imiserted by IFW Indexing amid ScamMirog 
Operations amid is not part of the Official Record 



Defective images within this document are accurate representations of the original 
documents submitted by the applicant. 

Defects in the images include but are not limited to the items checked: 

□ BLACK BORDERS 

□ IMAGE CUT OFF AT TOP, BOTTOM OR SIDES 

□ FADED TEXT OR DRAWING 

□ BLURRED OR ILLEGIBLE TEXT OR DRAWING 

□ SKEWED/SLANTED IMAGES 

□ COLOR OR BLACK AND WHITE PHOTOGRAPHS 

□ GRAY SCALE DOCUMENTS 

□ LINES OR MARKS ON ORIGINAL DOCUMENT 

□ REFERENCE(S) OR EXHIBIT(S) SUBMITTED ARE POOR QUALITY 

□ OTHER: 



BEST AVAILABLE IMAGES 



IMAGES AIRE BEST AVAILABLE COPY. 




